ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练
ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
来自主题: AI技术研报
10701 点击 2024-04-01 15:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
有了 Suno 这个「作曲助手」，人人都可以创建自己想听的歌曲。自从 ChatGPT 在 2022 年底爆火以来，我们已经看到 AI 生成的诸多艺术创作成果：ChatGPT 写出过情节引人入胜的网文，Midjourney 生成过肉眼难辨的人像。
下一步是智能体？随着 ChatGPT、GPT-4、Sora 的陆续问世，人工智能的发展趋势引起了广泛关注，特别是 Sora 让生成式 AI 模型在多模态方面取得显著进展。人们不禁会问：人工智能领域下一个突破方向将会是什么？
今年 2 月随着 Sora 的横空出世，大家再一次把目光聚集到 OpenAI。不仅如此，去年亮相的 ChatGPT、GPT-4，更是把 AI 直接带入到生成式人工智能领域。作为一家引领科技潮流的机构，大家自然对其方方面面都产生好奇。
程序员只写程序满足需求的时代，一去不复返了。AI 会让人类更加强大——去年 ChatGPT 掀起新一轮技术变革后，这件事成为了大多科技从业者的共识。
2022 年，谷歌高级研究科学家 Eric Jang 离开 Google Robotics，以副总裁的身份加入 1X Technologies 负责 AI 工作。2023 年 3 月，1X 获得了一轮由 OpenAI 创业基金领投的 2350 万美元融资，成为了 OpenAI 投资的第一家硬件公司。事实上，双方早在 2022 年就已经展开了合作，当时双方决定共同为机器人开发 AI 模型。
Notion 是生产力工具领域 AI 策略最为激进的一家公司：在 ChatGPT 推出 2 个月后，Notion 就宣布推出 Notion AI，将 GenAI 的体验直接融入到产品，并根据不同需求和场景预设了 prompt，用户只需要空格或“/”即可调用 GPT。
在 ChatGPT API 中，系统提示是一项很有亮点的功能，它允许开发人员控制 LLM 输出的「角色」，包括特殊规则和限制。系统提示中的命令比用户输入提示中的命令要有效得多，这让开发人员拥有了更大的发挥空间，而不是像现在使用 ChatGPT 网页应用程序和移动应用程序那样仅仅使用用户提示。
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。